Krippendorff's Alpha

Krippendorff's Alpha 是一種評估 評分者之間一致性 的統計指標,用於檢測數據的可靠性。它具有以下特點:

  1. 適用性廣泛
    • 適用於 不同數據類型:如名義尺度、順序尺度、區間尺度、比率尺度。
    • 支援 遣漏值 處理,不需要丟棄含有遣漏值的數據。
  2. 一致性計算的基礎
    • 衡量 觀察一致性隨機一致性 的差異。
    • 計算公式: α=1DoDe​​
      • Do​: 觀察到的差異 (Observed Disagreement)
      • De​: 預期的差異 (Expected Disagreement)

Krippendorff's Alpha 與 Cohen's Kappa 的差異

特點 Krippendorff's Alpha Cohen's Kappa
評分者數量 可適用於多位評分者 僅適用於兩位評分者
數據類型 名義、順序、區間、比率尺度 主要用於名義尺度(順序尺度需使用weighted Kappa)
缺失值處理 支援處理遺漏值 不支援遺漏值
使用場合 通用性較高,適合多種情境 通常用於簡單的二人標記或分類一致性
計算複雜性 較高,需要專門的工具(如 SPSS、R、Python 等) 計算相對簡單